RAG Deserves an Index: Why Ingest-Time Compilation Beats Query-Time Interpretation
RAG 需要索引:摄取时语义编译胜过查询时解释
🧭 RAG · 摄取时语义编译与索引 ★ 深度解读
Endgame Labs, Inc. · Asia AI Institute, Musashino University · Faculty of Data Science, Musashino University · AIx, Inc.
提出摄取时语义编译 ISC,将语料编译为带验证来源的原子声明,查询时读取成本降低约21倍且准确率更高
📌 工作参考价值(4 点)
- 电商知识库/客服对话场景:将商品卖点、用户评价、客服承诺提前编译为原子事实(claim),每条事实携带 verbatim span、说话人、位置;RAG 时直接返回事实而非原始段落,可显著降低读取 token 并提升答案准确率,尤其适合高频查询。
- Agent 记忆/生成式推荐中写入 provenance 门禁:对从评论、对话中提取的每一条声明做精确字符串匹配,无法定位原文 span 的不写入,避免幻觉传播到下游答案或推荐理由。
- 成本模型 R* 指导编译决策:热门商品描述、政策文档、常见问题可提前编译;长尾、易变内容保留查询时解释,不要默认全量编译。
- 索引维护上借鉴增量低秩更新:频繁更新的商品语料不要每次全量重算 embedding,可考虑增量更新;模型升级用 Procrustes 对齐,只重新嵌入少量样本,降低迁移成本。